Mourinho menjadi seorang jurulatih untuk pasukan muda di Vitoria de Setubal pada awal 1990an. Beliau menjadi pembantu jurulatih di Estrela da Amadora, kemudian peninjau di Ovarense. Kemudian pada 1992, Bobby Robson melantik beliau sebagai jurubahasa apabila Robson mendapat jawatan sebagai jurulatih di Sporting CP. Mourinho dan Robson mula berbincang mengenai taktik dan kejurulatihan dalam tugus mengalih bahasa. Robson dipecat oleh Sporting pada Disember 1993. Apabila FC Porto melantik beliau sebagai pengurus, Mourinho juga turut berpindah. Ketika di Porto, Mourinho dilantik sebagai pembantu Robson apabila Porto capai ke perlawanan separuh akhIr Liga Juara-Juara Eropah pada 1993-94, dan memenangi 1993-94 Taca de Portugal, Kejuaraan Portugal 1994-95, 1995-96 dan pada 1994, 1995 dan 1996 Piala Super Portugis.

Selepas 2 tahun di Porto, Mourinho dan Robson berpindah ke FC Barcelona pada 1996. Mourinho dan keluarga juga turut berpindah ke Barcelona dan beliau dikenali sebagai orang penting untuk menterjemah dalam sidang media, sesi pelan latihan dan membantu pemain-pemain melalui nasihat taktikal dan analis pihak lawan. Robson dan Mourinho merupakan gandingan yang baik, Robson mencadangkan stail serangan manakala Mourinho dari segi pertahanan. Kerjasama antara mereka menyasikan Barcelona memenangi Piala Juara-Juara Eropah. Robson berpindah ke kelab lain musim berikutnya tetapi Mourinho dikekalkan.

Mourinho bekerja sebagai pembantu Louis van Gaal di Barcelona, beliau mula mempelajari stail van Gaal dan membandingkan perbezaan antara kedua-dua jurulatih itu. Barcelona memenangi La Liga dua kali pada dua tahun pertama Van Gaal. Van Gaal menyaksikan bahawa pembantu-pembantunya lebih dari hanya menjadi pembantu. Van Gaal membiarkan Mourinho mengambil alih pasukan utama (berlakon menjadi pembantu Mourinho) untuk beberapa trofi seperti Copa Catalunya, dimana Mourinho memenanginya pada 2000.

Benfica

Mourinho dilantik sebagai pengganti Jupp Heynckes untuk menjadi pengurus Benfica pada September 2000. Menurut laporan, Benfica mahu melantik Jesualdo Ferreira sebagai pembantu Mourinho tetapi beliau menolak dengan melantik Carlos Mozer, bekas pertahanan Benfica sebagai orang kanan beliau.

Mourinho dan Mozer membuktikan kombinasi yang popular, memenangi 3-0 menentang Sporting pada Disember 2000. Ianya menjadi risiko untuk presiden kelab, Joao Valee Azevado dan yang baru dilantik, Manuel Vilarinho apabila beliau mahu meletakkan posisi bekas pemain Toni sebagai jurulatih baharu. Walaupun Vilarinho tidak mahu memecat beliau, Mourinho menggunakan kemenangan ke atas Spoting untuk menguji kesetiaan presiden dan meminta beliau untuk memanjangkan kontrak. Vilarinho menolak permintaan tersebut dan terus meletak jawatan. Beliau meninggalkan kelab itu pada 5 Disember 2000 selepas hanya menjaga 9 perlawanan.

União de Leiria

Mourinho menjadi pengurus Uniao de Leiria pada Julai 2001. Ketika di kelab itu, pasukan itu bertanding untuk kedudukan ketiga dan keempat pada Januari. Selepas kemenangan 2-1 menentang Pacos de Ferreira pada 27 Januari, pasukan itu berada ditempat ketiga, satu mata dihadapan Porto dan tiga mata dihadapan Benfica.

Porto

Beliau menggantikan Octavio Mochado sebagai pengurus Porto pada Januari 2002. Beliau telah membantu Porto menjuarai liga Portugal selain memenangi Piala UEFA pada tahun 2003. Pada musim berikutnya, beliau telah membantu pasukannya mengekalkan gelaran liga bersama Porto. Mourinho juga berjaya membawa Porto memenangi Liga Juara-Juara UEFA pada tahun 2004 selepas menewaskan AS Monaco 3-0 di perlawanan akhir.

Chelsea

Pada tahun 2004, ia telah diumumkan bahawa Jose Mourinho akan menggantikan Claudio Ranieri sebagai pengurus baharu Chelsea. Semasa sidang media pertamanya, Mourinho berkata, Jangan memanggil saya seorang yang sombong, tetapi apa yang saya cakap ini adalah benar. Saya ialah juara Eropah. Saya menganggap diri saya ini ialah Yang Teristimewa. Dan pada ketika itulah media mula memanggil Mourinho Yang Teristimewa. Mourinho telah membantu Chelsea memenangi Liga Perdana Inggeris dan Piala FA pada tahun 2005 di musim pertamanya. Mourinho sekali lagi berjaya membawa Chelsea menjuarai liga pada tahun 2006. Mourinho kembali membantu Chelsea menjuarai Piala FA dan Piala Liga Inggeris pada tahun 2007. Beliau meninggalkan Chelsea pada bulan September 2007 selepas permulaan yang tidak konsisten.

Inter Milan

Pada bulan Mei 2008, Mourinho disahkan menjadi pengurus baharu pasukan dari Itali, Inter Milan. Beliau menjulang trofi pertama bersama Inter apabila memenangi Supercoppa Italiana kira-kira 3 bulan beliau menjawat jawatan pengurus pasukan tersebut. Beliau juga membantu Inter Milan muncul naib juara Serie A di musim pertamanya. Pada musim keduanya, beliau membantu pasukannya menjuarai treble pada tahun 2010, iaitu memenangi Serie A, Coppa Italia dan Liga Juara-Juara UEFA selepas menewaskan Bayern Munich 2-0 di Madrid, Sepanyol yang menyaksikan petemuan semula Mourinho dengan pengurus yang pernah bekerja dengannya di Barcelona, Louis van Gaal yang melatih Bayern Munich. Hasil pencapaian tersebut, Mourinho berjaya merangkul Anugerah Pengurus Terbaik FIFA Ballon D' Or 2010. Mourinho meletak jawatan selepas beliau bersetuju untuk mengendalikan pasukan Real Madrid.

Real Madrid

Pada tahun 2010, Jose Mourinho sah menjadi pengurus baharu Real Madrid menggantikan Manuel Pellegrini. Dalam perlawanan El Clasico menentang Barcelona, Real Madrid dibelasah 5-0 di Camp Nou. Mourinho menganggap perlawanan paling buruk dalam kariernya. Mourinho membantu Real Madrid menjuarai Copa del Rey selepas menewaskan Barcelona 1-0 di perlawanan akhir. Di musim keduanya, Real Madrid menghadapi Piala Super Sepanyol, Mourinho melakukan kontroversi apabila beliau dikatakan mencucuk mata penolong jurulatih Barcelona, Tito Vilanova. Beliau membantu Real Madrid menjuarai La Liga buat kali pertama sejak 4 tahun dan menang El Clasico keatas Barcelona 2-1. Dalam musim ketiganya, Mourinho melanjutkan kontraknya bersama Real Madrid sehingga tahun 2016. Namun, Mourinho gagal membawa Real Madrid mempertahankan liga, tetapi sekadar naib juara, mereka juga tersingkir di separuh akhir Liga Juara-Juara UEFA ditangan Borussia Dortmund. Mereka berjaya ke perlawanan akhir Copa del Rey, tetapi tewas ditangan jiran setempat, Atletico Madrid. Jose Mourinho menganggap musim 2012–13 merupakan musim terburuk dalam kariernya. Presiden Real Madrid, Florentino Perez, mengesahkan Mourinho akan meninggalkan pasukan itu pada pertengahan tahun 2013.

Kembali ke Chelsea

Pada bulan Jun 2013, ia telah disahkan bahawa Mourinho akan kembali ke Chelsea. Karier beliau kembali ke pasukan tersebut bermula apabila pasukan Chelsea tewas menerusi sepakan penalti 4-3 kepada Bayern Munich yang dikendalikan Pep Guardiola dalam Piala Super UEFA 2013. Beliau sekadar membantu Chelsea menamatkan liga di tangga ketiga dan mara ke separuh akhir Liga Juara-Juara UEFA. Di musim keduanya, Mourinho membantu pasukannya menjuarai Piala Liga Inggeris. Chelsea mengesahkan kejuaraan liga dalam baki 3 perlawanan terakhir dengan kemenangan 1-0 keatas Crystal Palace. Dalam musim ketiganya, Mourinho telah melanjutkan kontrak kepada tiga tahun bersama Chelsea sehingga tahun 2019. Chelsea tewas 1-0 kepada Arsenal dalam Piala Perisai Komuniti di Stadium Wembley. Dalam perlawanan pertama saingan Liga Perdana Inggeris menentang Swansea City, Mourinho memarahi doktor pasukannya, Eva Carneiro kerana memberi rawatan kepada pemainnya Eden Hazard di masa kecederaan. Dua hari kemudian, Mourinho menyingkirkan Eva daripada barisan doktor pasukan. Chelsea memulakan kempen 2015–16 dengan langkah longlai, apabila mereka berada di tangga ke-16, sekadar mengumpul 11 mata selepas 12 perlawanan, dua mata dihadapan zon penyingkiran. Disaat prestasi buruk Chelsea, Mourinho menganggap Persatuan Bola Sepak England (FA) mengarut. Beliau telah didenda oleh FA sebanyak £500,000. Beliau juga telah dibuang padang ketika Chelsea tewas 1-2 kepada West Ham United pada bulan September 2015 akibat membantah keputusan pengadil memerintah pemainnya, Nemanja Matic dibuang padang selepas menerima layangan kad kuning kedua. Kontroversi itu telah menyebabkan masa depan Mourinho bersama Chelsea kian ranap. Pada 15 Disember 2015, Jose Mourinho telah dipecat oleh Chelsea selepas tewas 2-1 kepada pendahulu liga, Leicester City.

Manchester United

Pada 26 Mei 2016, Jose Mourinho secara rasminya dilantik sebagai pengurus baharu Manchester United, menggantikan Louis van Gaal yang telah dipecat.